Được thăng hàm Thiếu tướng vào năm 1859 và Trung tướng vào năm 1859, Roon đã giữ một vài chức vụ chỉ huy kể từ năm 1850 và được triển khai trong các sứ mệnh quan trọng. Trong cuộc Chiến tranh Áo-Pháp-Sardegna, ông được lệnh tổng động viên một sư đoàn. Cuộc tổng động viên quân đội Phổ diễn ra kém hiệu quả và rơi vào tình trạng hỗn loạn đến mức mà Wilhelm, người đã lãnh chức Nhiếp chính vương thay thế vua anh điều hành việc nước từ năm 1857, phải thành lập một hội đồng do Roon lãnh đạo, nhằm xem xét những khuyết điểm của quân đội và đề xướng cải cách. Các đường lối của ông gặp phải một số phản đối từ Bộ trưởng Bộ Chiến tranh đương nhiệm của Phổ là Eduard von Bonin, song Wilhelm – người ủng hộ nồng nhiệt các đề xuất của Roon – đã cách chức Bonin và bổ nhiệm Roon vào ghế Bộ trưởng Chiến tranh vào ngày 5 tháng 12 năm 1859. Hai năm sau, vào năm 1861, Bộ Hải quân cũng được giao cho ông đứng đầu.[4][5][12][13][14]

Được mệnh danh là "người bảo thủ sáng suốt"[15] có niềm tin sốt sắng vào sự chuyên môn và các cuộc cải cách để đổi mới hoàn toàn bộ mặt của quân đội.[13] Được sự ủng hộ của tướng Edwin von Manteuffel và Tổng tham mưu trưởng mới của quân đội Phổ là Helmuth von Graf Moltke, Roon đã soạn thảo các kế hoạch để điều chỉnh cơ cấu quân sự do Scharnhorst thiết lập cho phù hợp với bối cảnh hiện thời của nước Phổ.[5] Những kế hoạch này đã được bày tỏ ngay từ mùa hè năm 1858 qua bản thỉnh tấu do ông đệ trình lên Wilhelm. Trong bản tấu thỉnh này, trước hết ông chỉ ra rằng Phổ cần có "một quân đội hùng vĩ nhưng đồng thời không đắt giá" nếu muốn củng cố địa vị liệt cường của mình.[12] Một phần trong các canh tân của ông là chế độ cưỡng bách tòng quân trên toàn quốc: theo đó, việc phục vụ dưới các lá quân kỳ bắt buộc phải kéo dài 3 năm, khởi đầu ở độ tuổi 20.[1] Tiếp theo đó, những người lính được tuyển mộ sẽ phục vụ lực lượng trừ bị trong vòng 4 năm[13], chứ không phải là 2 năm như trước đây nữa.[1] Và, sau khi mãn hạn trong lực lượng trừ bị, họ sẽ gia nhập lực lượng Vệ binh Quốc gia (Landwehr).[13] Nhờ cải tổ của Roon, các trung đoàn mới của quân đội Phổ đã được thành lập.[5] Trong năm 1862 quân số của lực lượng chính quy Phổ đã được mở rộng gấp đôi[16]. Ngoài ra, mặc dù vai trò trong cuộc Chiến tranh Giải phóng năm 1813 của Vệ binh Quốc gia vẫn còn được ca ngợi trong một huyền thoại mang tính dân tộc chủ nghĩa, Roon tin rằng Landwehr là một đội ngũ yếu kém về quân sự lẫn chính trị: hạn chế về tính thực tiễn và thiếu sự tinh nhuệ. Vì thế, ông đã cắt giảm vai trò của lực lượng này:[5] việc phục vụ trong đội ngũ Vệ binh Quốc gia bị giảm từ 7 năm xuống 5 năm, dưới sự giám sát chặt chẽ trong quân đội chính quy, qua đó biến Vệ binh Quốc gia theo một lực lượng trừ bị hạng hai trên chiến tuyến.[1] Đồng thời, Roon cũng chia nước Phổ làm 8 quân khu và giao việc kiểm soát Vệ binh Quốc gia cho Bộ Tư lệnh các quân khu này[17].[1]

Những đề xuất tái cấu trúc quân đội của Roon đã vấp phải sự phản kháng mãnh liệt từ phe tự do chủ nghĩa vốn chiếm đa số trong Quốc hội Phổ (Preußischer Landtag),[5] đứng đầu là Đảng Tiến bộ, do quốc hội chủ trương đặt ngân sách quân sự dưới sự kiểm soát của nghị viện. Những người theo chủ nghĩa tự do coi các vấn đề quân đội là một minh chứng cho chế độ chuyên chế của Vương gia Phổ. Trong khi Roon cho rằng quân đội Phổ cần phải có thêm nhiều lính để bảo vệ quyền lợi của vương quốc chống lại Áo và Pháp, những người theo chủ nghĩa tự do cho rằng mục tiêu thực sự của Roon là "quân phiệt hóa" xã hội Phổ. Họ cho rằng, nếu cần thiết mở mang quân số, Vệ binh Quốc gia hoàn toàn có thể đáp ứng nhu cầu của quân đội bằng nguồn lực dồi dào của họ. Tuy nhiên, về vai trò của Landwehr, Roon đã phản bác: trong thời đại này, chiến tranh đã trở nên phức tạp và đòi hỏi lực lượng vũ trang trình độ chuyên môn cao chứ không chỉ quân số và tinh thần.[16] Sau gần 8 năm xung đột chính trị (1859 – 1867)[12], phần thắng cuối cùng sẽ thuộc về ông, với sự hỗ trợ đắc lực từ những thắng lợi chính trị của Thủ tướng Otto von Bismarck và những thắng lợi quân sự của Tổng tham mưu trưởng Moltke.[5][6]